其他
Meetup来上海啦!Kylin和Alluxio邀您共飨大数据思想盛宴
11月21日Kylin & Alluxio Meetup来上海!
Alluxio PMC Maintainer 范斌会详细讲解和示范Alluxio的新功能,包括可扩展的分层存储、透明的同步数据读写、统一命名空间等。这些功能为Alluxio用户带来更多的价值和更高效便捷的集群存储管理。与此同时,也将介绍和分析Alluxio在不同生产部署的使用案例。
唯品会大数据现有多个数据产品,数据覆盖了所有特卖业务的需求,有千余个维度和指标,传统的基于Hive的统计汇总到数据同步展示难以满足需要,如何让ad-hoc的响应速度快起来是一个需要解决的难题。本次分享将从Apache Kylin是如何为平台提速入手,讨论准实时OLAP在唯品会的应用。
介绍Apache Kylin流式OLAP的历史及其最新设计和成就。 讨论如何以接近实时的方式完成cubing,以及如何在未排序的记录流中实现零数据丢失。 浅探Apache Kylin、雪花模型和真正的实时分析的未来。
18:30 - 19:10 Alluxio: 构建高速大数据融合存储平台 ( 范斌|Alluxio)
19:10 - 19:50Apache Kylin Streaming OLAP and Future ( 李扬|Kyligence)
19:50 - 20:30Apache Kylin在唯品会大数据的应用 (谢麟炯|唯品会 )
20:30 - 21:00合影&自由交流
时间:11月21日(周一)18:00 - 21:00地点:临时书店(浦东新区金科路3057号汇智商场2楼)交通:地铁二号线金科路站报名:点击阅读原文直接报名
Alluxio,前称Tachyon,是一个开源内存级虚拟大数据存储系统,帮助实现不同数据源的融合和高速访问。通过Alluxio,不同的计算框架可以以一个统一的接口无缝访问不同数据源中的数据,从而可以专注高效的创新和迭代;同时与Alluxio对接的持久化存储系统可以专注更高效的存储效率。同时Alluxio自带的以内存为核心的存储架构性能更强大、计算和存储的可伸缩更方便。
现在Alluxio支持多种存储系统包括Amazon S3、谷歌云存储、Gluster、Ceph、HDFS、NFS和OpenStack Swift等;支持多种主流大数据处理框架,包括Spark,MapReduce等。
Alluxio项目最早起源于加州大学伯克利分校AMPLab的研究项目。 在其开源的三年的时间里,Alluxio社区已汇集全世界100多家公司的超过300名贡献者, 并被部署使用在例如百度、巴克莱银行、去哪儿网等公司的生产环境中,Alluxio已经其中一些部署应用中运行了一年多,管理着PB级别的数据。
2014年11 月,Kylin加入Apache孵化器项目,经过不到一年的发展,于2015年11月顺利毕业成为Apache顶级项目之一。Apache Kylin是首个完全由中国团队设计开发,并贡献到Apache软件基金会(ASF)的顶级项目,开源一年左右的时间,已经在国内国际多个公司被采用作为大数据分析平台的关键组成部分,包括eBay、Expedia、Exponential、百度、京东、美团、明略数据、网易、中国移动、唯品会等。
"Apache and Apache Kylin are either registered trademarks or trademarks of The Apache Software Foundation in the US and/or other countries. No endorsement by The Apache Software Foundation is implied by the use of these marks."